Участники проекта AlmaLinux объявили о формировании специальной группы по интересам (SIG), которая займётся развитием направления НРС и ИИ. Подразделение под названием AlmaLinux HPC and AI SIG возглавляет Хайден Барнс (Hayden Barnes) — менеджер сообщества open source по задачам ИИ в корпорации HPE.

AlmaLinux фактически заполняет пробел, оставшийся после прекращения выпуска стабильных версий CentOS Linux. Поддержка этой ОС прекратилась в конце 2021 года, а не в 2029-м, как ожидалось. Место CentOS заняла CentOS Stream, вечная бета-версия RHEL.

Источник изображения: AlmaLinux

Группа HPC and AI SIG в составе AlmaLinux, как отмечается, состоит из экспертов по HPC и ИИ, которые выбрали эту ОС в качестве программной основы для своих проектов. В их число входят специалисты компаний — поставщиков оборудования для НРС-систем, участники ИИ-проектов open source, а также администраторы, развёртывающие AlmaLinux в исследовательских организациях.

Подразделение сформировано с тем, «чтобы гарантировать, что у пользователей есть ресурсы и поддержка сообщества, необходимые для максимизации преимуществ AlmaLinux» в рамках инициатив, связанных с НРС и ИИ. Участники SIG намерены взаимодействовать, внедрять инновации и обмениваться знаниями внутри сообщества AlmaLinux.

За пределами экосистемы AlmaLinux специалисты новой группы намерены развивать партнёрские отношения и сотрудничать с иными заинтересованными сторонами. AlmaLinux рассчитывает «оставаться в авангарде технологических достижений» в сферах НРС и ИИ.

Компания МТС объявила о запуске платформы для разработчиков DevX Platform, использование которой позволит значительно ускорить вывод на рынок новых продуктов и сервисов. DevX Platform, по словам компании, представляет собой единую среду разработки, позволяющую распространить стандарты работы на всех ИТ-специалистов экосистемы МТС, минимизировав количество рутинных операций на всех этапах — от проектирования до тестирования и развёртывания систем.

Новая платформа предоставит разработчикам удобные средства командной работы, преимущественно на базе open source решений. Благодаря прозрачности процессов можно будет настроить инструменты измерения эффективности и управления разработкой, ускорить запуск новых продуктов и услуг, а также повысить качество кода. DevX Platform будет применяться в работе над всеми ключевыми продуктами МТС», — сообщается в пресс-релизе.

Источник изображения: МТС

DevX Platform включает интеллектуального ассистента, который поможет повысить качество разработки за счёт набора обучаемых ML/AI-сервисов, обеспечивающих возможность трансляции с одного языка программирования на другой, автодополнение кода, генерацию документации, поиск и исправление ошибок в коде и другие функции на базе генеративного ИИ. Также новая платформа предлагает инструменты для коллаборации и обмена опытом.

МТС отметила, что платформа предоставляет возможность бизнесу контролировать эффективность разработки, а для ИТ-специалистов — это удобная рабочая среда, которая содержит множество полезных инструментов. Прогнозируемый экономический эффект от внедрения DevX Platform составляет более 6 млрд руб. в течение пяти лет.

Компания CIQ, поддерживающая Rocky Linux, анонсировала инициативу CIQ Bridge для пользователей платформы CentOS 7, жизненный цикл которой близится к завершению. Инициатива, как ожидается, поможет клиентам поддерживать свою IT-инфраструктуру в актуальном и защищённом состоянии в рамках миграции на Rocky Linux.

Поддержка CentOS, напомним, прекратилась в конце 2021 года, а не в 2029-м, как ожидалось. Место CentOS заняла CentOS Stream, вечная бета-версия RHEL. А в июне 2023 года Red Hat объявила о прекращении поддержки публикации исходного кода пакетов уже выпущенных релизов в репозитории CentOS. Впоследствии CIQ, Oracle и SUSE создали совместную торговую ассоциацию Open Enterprise Linux Association (OpenELA), чтобы противостоять политике Red Hat.

Вместе с тем основатель проекта CentOS Грегори Курцер (Gregory Kurtzer) в 2020 году представил Rocky Linux — новую свободную сборку RHEL. На эту платформу предлагается перейти пользователям CentOS 7, жизненный цикл которой закончится 30 июня 2024 года. Те клиенты, которым необходимо дополнительное время для перехода на альтернативную ОС, могут воспользоваться программой CIQ Bridge.

Источник изображения: CIQ

По сути, CIQ Bridge — это расширенная поддержка CentOS 7 сроком на три года: доступ к ней предоставляется по годовой подписке с фиксированной ставкой. Клиентам будут предоставляться обновления, а также заплатки для уязвимостей, имеющих рейтинг CVSS 7 и выше. Патчи для дыр с рейтингом CVSS 5 и CVSS 6 могут распространяться на дополнительных условиях.

По оценкам, на сегодняшний день более 385 тыс. компаний по всему миру применяют CentOS. Хотя многие организации успешно перешли на Rocky Linux и другие альтернативы Linux, некоторым клиентам сложно сделать это до 30 июня по ряду причин, включая проблемы с финансированием и нехватку специалистов. Таким пользователям программа CIQ Bridge даст дополнительное время для перехода на новую Linux-платформу.

Сама Red Hat объявила о предоставлении дополнительной четырёхлетней поддержки пользователям Red Hat Enterprise Linux (RHEL) 7. Обычно период поддержки этой платформы составляет 10 лет, но в случае RHEL 7 он увеличен до 14 лет.

Компания Mozilla анонсировала обновлённую версию инструмента llamafile с индексом 0.8.1. В данном релизе устранены ошибки, из-за которых происходило некорректное распознавание ускорителей AMD на базе GPU. Кроме того, реализованы некоторые другие изменения.

Напомним, llamafile даёт возможность упаковать веса большой языковой модели (LLM) в исполняемый файл, который без установки можно запустить практически на любой современной платформе. Поддерживаются архитектуры x86-64 и ARM64, а также системы macOS, Windows, Linux, FreeBSD, OpenBSD и NetBSD.

Как отмечается, изначально в llamafile корректно определялись только числовые идентификаторы графических блоков AMD GFX, из-за чего возникали сбои при использовании определённого оборудования AMD Instinct/Radeon. Например, ускоритель Instinct MI250 имеет обозначение GFX90A IP, и символ «A» ранее не распознавался должным образом. В результате, при работе с такими GPU происходили ошибки. Теперь данная проблема устранена.

Источник изображения: AMD

Кроме того, в llamafile 0.8.1 имеется поддержка модели Phi-3 Mini 4k, а также LLaMA3, Grok, Mixtral 8x22b и Command-R. Производительность F16 повышена приблизительно на 20 % на платформе Raspberry Pi 5, примерно на 30 % — на Intel Skylake и на 60 % — на Apple M2.

Минцифры РФ, по сообщению газеты «Коммерсантъ», направило в правительство предложения о пересмотре проекта по созданию национального репозитория открытого кода, который изначально задумывался в качестве аналога популярного GitHub. Новую платформу планировалось запустить до конца апреля 2024-го, но реализовать проект в указанные сроки не удалось.

Потребность в отечественном репозитории кода возникла, когда GitHub начал блокировать аккаунты российских разработчиков. В мае 2023-го Минцифры опубликовало список участников эксперимента по созданию аналога GitHub: в него вошли «Базальт СПО» (разработчик операционной системы ALT Linux), «Ред Софт» («Ред ОС») и др.

На реализацию проекта планировалось направить более 1,3 млрд руб., которые с 2007-го остаются невостребованными на счетах фонда «Росинфокоминвест». Но эти деньги так и не были выделены, и в марте 2024-го стало известно, что инициатива заморожена. А теперь и вовсе говорится, что разработка репозитория может быть отменена. Вместо этого Минцифры предлагает использовать один из уже действующих сервисов, а указанные средства использовать для поддержки наиболее востребованных проектов в сфере open source и для создания новых IT-продуктов.

Источник изображения: pixabay.com

При этом обязательным условием для получения финансовой помощи станет размещение разрабатываемых продуктов в российских репозиториях открытого ПО. «Решено выбрать один из уже существующих общедоступных отечественных репозиториев вместо создания новой площадки»,— заявили в Минцифры.

На сегодняшний день в России действуют несколько репозиториев кода. Это, в частности, Mos.Hub правительства Москвы, «РТК-Феникс» и «Лукоморье» от «Ростелекома», «Сфера» от T1, GitFlame от «Иннополиса», GitVerse от «Сбера» и др. Какой из этих сервисов будет выбран для продолжения эксперимента, не уточняется. Участники рынка полагают, что наиболее вероятным претендентом является «РТК-Феникс».

В xz/liblzma выявлен вредоносный код, направленный на получение несанкционированного удаленного доступа по SSH (бэкдор) и исполнение команд (CVE-2024-3094). Зловред был внедрён в версии 5.6.0 и 5.6.1 и, как передаёт OpenNet, успел попасть в сборки и репозитории Gentoo, Arch Linux, Debian sid/unstable, Fedora Rawhide/40-beta, openSUSE factory/tumbleweed, LibreELEC, Alpine edge, Solus, CRUX, Cygwin, MSYS2 mingw, HP-UX, Homebrew, KaOS, NixOS unstable, OpenIndiana, Parabola, PCLinuxOS, OpenMandriva cooker и rolling, pkgsrc current, Slackware current, Manjaro, Void Linux. Впрочем, далеко не везде бэкдор может быть активирован.

Ситуацию усугубляет то обстоятельство, что разработчик, оказавшийся под подозрением, в последние годы принимал участие и в смежных проектах сообщества. Поэтому нет оснований для доверия исходному коду xz до выяснения всех деталей и последствий произошедшего. В частности, соответствующий репозиторий на GitHub уже заблокирован с сообщением: «Доступ к этому репозиторию был заблокирован сотрудниками GitHub из-за нарушения условий предоставления услуг GitHub».

Тем, кто успел получить инфицированные варианты ПО, рекомендуется откатиться до версий 5.4.6 или 5.4.1. Последний вариант более предпочтителен, так как эта версия была сформирована предыдущим сопровождающим. Сама атака оказалась очень изощрённой, а на её реализацию ушло приблизительно два года. Проблему практически случайно обнаружил разработчик, обративший внимание на необычное замедление (разница в 0,5 с) работы ssh-сервера. Следить за развитием ситуации можно на сайте проекта. А версии пакетов xz в разных проектах можно отслеживать в Repology.

Компания Redis Ltd. объявила о смене политики лицензирования: вместо ранее использовавшейся лицензии BSD (Berkeley Software Distribution) для свободного ПО будут применяться проприетарные лицензии Redis Source Available License (RSALv2) и Server Side Public License (SSPLv1).

Redis — это крайне популярная NoSQL-платформа. В 2010–2013 гг. разработку СУБД финансировала компания VMware, которая была приобретена корпорацией Broadcom за $69 млрд.

Сообщается, что лицензии RSALv2 и SSPLv1 будут применяться для версий СУБД начиная с релиза Redis 7.4. Говорится, что RSAL даёт возможность использовать, изменять, распространять и встраивать код в приложения, кроме тех случаев, когда продукт является коммерческим или используется для предоставления управляемых платных сервисов. В свою очередь, SSPL требует распространять под той же лицензией как код самого приложения, так и код всех компонентов, которые задействованы в составе, например, облачного сервиса.

Источник: Redis

«На практике ничего не изменится для сообщества разработчиков Redis: они продолжат пользоваться разрешительным лицензированием в рамках двойной лицензии», — говорится в заявлении компании. В соответствии с новой политикой поставщики облачных услуг, размещающие сервисы Redis, больше не смогут бесплатно использовать исходный код проекта. Изменения, как утверждается, нацелены на поддержку сообщества разработчиков Redis. Дело в том, что некоторые облачные провайдеры создают коммерческие продукты на базе Redis, но не поддерживают собственно развитие СУБД. Новые лицензии призваны предотвратить подобную практику.

Между тем уже появились несколько форков Redis. Так, организация Linux Foundation запустила проект Valkey, который предполагает дальнейшее развитие Redis 7.2.4 по лицензии BSD с открытым исходным кодом. Для Valkey заявлена поддержка платформ Linux, macOS, OpenBSD, NetBSD и FreeBSD. В проекте Valkey принимают участие такие компании и облачные провайдеры, как Amazon Web Services (AWS), Google Cloud, Oracle, Ericsson и Snap Inc.

Кроме того, появился форк Redis под названием Redict. Его основателем является Дрю ДеВолт (Drew DeVault), создатель и генеральный директор SourceHut. Проект базируется на Redis версии 7.2.4, а в качестве лицензии используется LGPLv3. Исходный код Redict общедоступен на Codeberg.

Сообщается также, что на фоне изменения лицензионной политики Redis Ltd. заключила соглашение о приобретении Speedb — разработчика движка хранения данных. Redis будет использовать Speedb для улучшения процессов обработки информации в реальном времени и предоставления сервисов с малыми задержками. Ожидается, что Redis выпустит первую версию своей платформы, интегрированной со Speedb, до конца 2024 года. Финансовые условия сделки не раскрываются.

Отметим, что в конце 2018 года MongoDB сменила лицензию с GNU AGPLv3 на разрабатонную ею же SSPL (в дополнение к проприетарной лицензии), причём новая лицензия была введена ровно по той же причине, что и в случае Redis. SSPL не признаётся свободным ПО организацией Open Source Initiative (OSI) и некоторыми крупными дистрибутивами Linux.

Несмотря на частые анонсы новых решений, ситуация на рынке ускорителей всё ещё складывается в пользу NVIDIA, которая существенно раньше своих соперников поняла всю важность этого рынка и делает всё возможное для продвижения собственной программной платформы CUDA.

CUDA позволяет разрабатывать приложения, работающие только на аппаратном обеспечении NVIDIA. С учётом взрывной популярности ИИ такая ситуация позволяет компании держать высокие цены, да и сама платформа хорошо отшлифована временем. Но вкупе с дефицитом ускорителей NVIDIA всё это негативно влияет на развитие индустрии ИИ в целом, что закономерно вызывает недовольство со стороны разработчиков.

С целью положить конец такому порядку ряд крупных компаний-разработчиков и полупроводниковых гигантов, включая Intel, Qualcomm, Samsung, Arm и Google сформировали альянс, названный The Unified Acceleration Foundation (UXL). Целью этого союза является создание универсального открытого ПО, которое позволит разработчикам ИИ-решений отказаться от CUDA и использовать ускорители других производителей.

Источник изображения: Intel

Сама группа UXL была сформирована ещё в сентябре прошлого года ведущими производителями микрочипов, но на днях она объявила о расширении, а также уточнила, как именно намерена бороться с CUDA. В основу нового, открытого мультиплатформенного стандарта ляжет Intel OneAPI, уходящий корнями в SYCL и OpenCL. В наследство достанутся и различные наработки Intel, включая инструмент SYCLomatic, позволяющий конвертировать CUD-код в SYCL-код, способный выполняться практически на любой платформе, в том числе и от NVIDIA.

UXL надеется сформировать стандартную модель программирования для ИИ-вычислений. Спецификации должны быть утверждены уже в I полугодии, а к концу 2024 года UXL, согласно планам, достигнет зрелого состояния. Группа намеревается привлечь и других производителей чипов, а также крупных провайдеров облачных услуг, включая Microsoft Azure и Amazon. Примечательно, что AMD к UXL решила не присоединяться.

Американский стартап в сфере аналитики больших данных и машинного обучения Databricks объявил о выходе DBRX, большой языковой модели (LLM) общего назначения, которая, по его словам, превосходит в стандартных бенчмарках все существующие LLM с открытым исходным кодом, а также некоторые проприетарные ИИ-модели.

Стартап заявил, что открывает исходный код модели, чтобы побудить пользователей отказаться от коммерческих альтернатив. Он отметил, что согласно исследованию Andreessen Horowitz LLC, почти 60 % лидеров в области ИИ-технологий заинтересованы в увеличении использования или переходе на open source, если открытые модели после тюнинга примерно соответствуют по производительности проприетарным моделям.

Источник изображений: Databricks

«Я считаю, что самые ценные данные хранятся внутри предприятий. ИИ как бы исключён из этих сфер, поэтому мы пытаемся реализовать это с помощью моделей с открытым исходным кодом», — цитирует ресурс SiliconANGLE заявление гендиректора Databricks Али Годси (Ali Ghodsi) на брифинге с журналистами. По словам Годси, лучше всего DBRX подходит для сфер, где критически важны управление и безопасность, например, для финансовых услуг и здравоохранения, или там, где важен тон ответов, например, в области самообслуживании клиентов.

DBRX использует архитектуру Mixture of Experts (MoE, набор экспертов), которая делит процесс обучения между несколькими специализированными «экспертными» подсетями. Каждый «эксперт» владеет определёнными навыками, а исходный запрос оптимальным образом распределяется между «экспертами». Вице-президент Databricks по генеративному ИИ, перешедший в компанию вместе с приобретением MosaicML, соучредителем которой он был, заявил, что MoE работает даже лучше человека.

Хотя DBRX с 132 млрд параметром почти в два раза больше Llama 2, она всё равно вдвое быстрее. Также сообщается, что DBRX превзошла существующие LLM с открытым исходным кодом Llama 2 70B и Mixtral-8x7B (тоже MoE), а также запатентованную GPT-3.5 Turbo в тестах на понимание языка, программирование, математику и логику. Обучение модели на общедоступных и лицензированных источниках данных в течение двухмесячного периода обошлось Databricks всего в $10 млн с использованием 3 тыс. ускорителей NVIDIA H100.

По словам компании, при создании приложений генеративного ИИ модель DBRX можно использовать вместе с Databricks Mosaic AI, набором унифицированных инструментов для создания, развёртывания и мониторинга моделей ИИ. Базовая модель DBRX Base и продвинутая модель DBRX Instruct доступны по открытой лицензии для исследований и коммерческого использования на GitHub и Hugging Face. Разработчики могут уже сегодня создавать свои варианты DBRX на основе собственных данных на платформе Databricks.

Эксперимент по созданию национального репозитория открытого кода, по сообщению газеты «Ведомости», отложен на неопределённый срок. Причина заключается прежде всего в отсутствии необходимого финансирования. Кроме того, участники рынка говорят, что потребность в такой площадке фактически отпала в связи с появлением альтернативных частных платформ.

Национальный репозиторий кода задумывался в качестве аналога GitHub. Премьер-министр Михаил Мишустин выступил с предложением создать отечественную платформу для совместной разработки IT-проектов в сентябре 2021 года. Потребность в такой системе усилилась в связи с блокировкой аккаунтов российских разработчиков на GitHub. С 2022 года запущены несколько площадок для совместной разработки и хостинга кода: репозиторий Mos.Hub правительства Москвы, «РТК-Феникс» и «Лукоморье» от «Ростелекома», «Сфера» от T1, GitFlame от «Иннополиса», GitVerse от «Сбера» и др.

Источник изображения: pixabay.com

Эксперимент с российским репозиторием планировалось провести с ноября 2022-го до конца апреля 2024 года. Ответственным за выполнение работ определён Российский фонд развития информационных технологий (РФРИТ). В декабре 2022 года Минцифры предложило передать на реализацию проекта 1,3 млрд руб., которые с 2007-го остаются невостребованными на счетах фонда «Росинфокоминвест» (создан правительством в 2007 году для инвестиций в отечественные IT-решения на ранних стадиях).

Однако деньги так и не были выделены. Более того, отмечается, что фокус проекта сместился на вопросы более активного использования ИИ в процедурах обработки данных и работы с кодом. Иными словами, концепция репозитория требует пересмотра. Кроме того, развёртывание платформы потребует регулярных инвестиций для поддержания её работы. По оценкам, в перспективе трёх лет затраты на аренду мощностей у одного из ведущих провайдеров («Яндекса», VK, Cloud.ru или «Ростелекома»), а также обеспечение отказоустойчивости и безопасности составят от 300 млн до 500 млн руб.